📘 INT8 量化实战
30章 · 从入门到部署
🧸 TensorRT 专精
第 01 章
INT8量化基础
概览
模型量化
为什么INT8
精度权衡
量化流程
第 02 章
量化原理精讲
核心
对称vs非对称
公式推导
缩放因子&零点
per-tensor/channel
第 03 章
校准数据集
关键
校准集作用
构建方法
大小选择
数据分布影响
第 04 章
校准方法(上)
熵校准
熵校准
KL散度
原理
实现细节
第 05 章
校准方法(下)
混合策略
Max校准
百分位校准
混合校准
第 06 章
TensorRT量化工具链
工具
trtexec
Polygraphy
ONNX-GraphSurgeon
第 07 章
INT8量化流程实战
上手
FP32→INT8
量化脚本
错误排查
第 08 章
量化敏感层分析
诊断
敏感层定位
逐层精度损失
可视化工具
第 09 章
量化回退策略
平衡
量化回退
特定层FP32
精度性能平衡
第 10 章
QAT量化感知训练基础
QAT
什么是QAT
PTQ区别
何时需要
第 11 章
QAT实战(PyTorch)
torch
torch.quantization
FakeQuantize
训练改造
第 12 章
QAT实战(TensorRT)
部署
导出QAT模型
TensorRT支持
精度验证
第 13 章
INT8卷积优化
硬件
硬件实现
Tensor Core INT8
性能分析
第 14 章
INT8全连接层优化
GEMM
INT8 GEMM
矩阵乘法量化
性能对比
第 15 章
INT8激活函数处理
激活
ReLU/Sigmoid/Tanh
LUT
精度影响
第 16 章
INT8 BN层融合
融合
BN融合卷积
融合后量化
实战技巧
第 17 章
INT8多输入多输出模型
多分支
多分支量化
特征融合
实战案例
第 18 章
INT8动态形状模型
动态
动态batch
动态分辨率
优化技巧
第 19 章
INT8精度调试
调试
精度下降分析
逐层对比
调试方法论
第 20 章
INT8性能调优
调优
吞吐量优化
延迟优化
内存带宽
最佳实践
第 21 章
INT8在Jetson部署
边缘
Jetson特性
功耗性能平衡
实战案例
第 22 章
INT8在数据中心GPU
云端
A100/H100
大规模部署
性能监控
第 23 章
INT8量化+稀疏化
压缩
剪枝+量化
稀疏+量化
混合压缩
第 24 章
INT8+知识蒸馏
蒸馏
蒸馏+量化
教师学生模型
精度提升
第 25 章
INT8在CV领域
视觉
分类/检测/分割
量化实践
常见问题
第 26 章
INT8在NLP领域
文本
BERT/GPT
Transformer量化
精度保持
第 27 章
INT8在推荐系统
推荐
大规模推荐
Embedding量化
性能收益
第 28 章
INT8量化前沿技术
前沿
混合精度量化
自动化工具
量化架构搜索
第 29 章
常见问题与解决方案
排坑
精度崩溃
性能不达标
模型不收敛
实战排坑
第 30 章
INT8项目实战
收官
完整部署流水线
端到端案例
总结展望